CONSEJO NACIONAL DE EDUCACIÓN 
CHILE 


CONSEJO NACIONAL DE EDUCACION 


ACTA N° 159 

La cuadragésimo segunda sesión extraordinaria del Consejo Nacional de Educación 
se realizó el viernes 31 de mayo de 2013. Presidió la sesión el Presidente, señor 
Ignacio Irarrázaval. Asistieron, además, los consejeros señores Alejandro Mackay, 
Pedro Montt, Jorge Toro, José Weinstein, Pedro Pablo Rosso y señora Carmen 
Norambuena. Excusaron su asistencia Lorna Prado y Roberto Guerrero. La consejera 
Francisca Dussaillant se inhabilitó de participar en esta sesión, por referirse a los Otros 
Indicadores de Calidad Educativa. Actuó como ministro de fe de la sesión, la 
Secretaria Ejecutiva (S), señora Daniela Meneses, y como secretaria de actas, la 
señorita Milena Izzo. 

Se dio inicio a la cuadragésimo segunda sesión extraordinaría a las 09:30 horas. 


Reformulación de la Propuesta del Ministerio de Educación de Otros Indicadores 
de la Calidad Educativa. 

De conformidad con lo acordado en la sesión pasada, con el objeto de ampliar el 
análisis de la propuesta de Otros Indicadores de Calidad Educativa, reformulada por el 
Ministerio de Educación, asistió a esta parte de la sesión, el señor Ernesto San Martín, 
uno de los evaluadores de la propuesta, con el fin de dialogar acerca de las 
observaciones formuladas respecto de la construcción de los indicadores. 

Luego de agradecer la invitación, el señor San Martín se refirió a los principales 
aspectos de sus observaciones, en conformidad con una presentación anexa a esta 
acta. Planteó que 5 de los indicadores propuestos por el Ministerio, se construyen 
empíricamente, utilizando información recolectada a nivel individual por medio de 
cuestionarios auto-aplicados, para lo cual se requiere utilizar un análisis factorial. 
Agregó que, acorde con dicho análisis, al determinar el puntaje final, debiesen 
promediarse los puntajes de acuerdo a los ponderadores emanados del análisis 
empírico. 

Explicó que la propuesta del Ministerio usa un procedimiento para obtener 
empíricamente los ponderadores de cada parte de la prueba, por medio de un análisis 
factorial; no obstante, al calcular un puntaje por estudiante en cada indicador, no 
considera esta información y promedia las respuestas de cada individuo a cada ítem 
del cuestionario. En su opinión, si no se consideran los ponderadores, se genera 
distorsión de la información. 


MARCHANT PEREIRA 844 TELEFONOS: 3413412 - 3413413 FAX: 2254616 CASILLA 69-D COD. POSTAL 6640627 SANTIAGO 

http://www.cned.cl E-mail: consulta@cned.cl 1 



CONSEJO NACIONAL DE EDUCACIÓN 
CHILE 

El señor San Martín profundizó en el tema, indicando que el problema con la medición 
de percepciones de la propuesta, es cómo se combinan las distintas preguntas de los 
cuestionarios para medir un determinado indicador y luego cómo se combinan para 
cada establecimiento para obtener el promedio de la escuela; aclarando que la 
respuesta del Ministerio indica que se promediará todo. Sostuvo que no es posible 
promediar directamente, sino que se debiera hacer un análisis factorial para ponderar 
las preguntas. Tal análisis factorial también podría aplicarse por quintiles o tipo de 
establecimiento (municipal -privado), para saber si un indicador se comporta de 
manera similar, para medir la significación de ese indicador en distintos grupos o 
poblaciones y obtener un concepto general. 

Enseguida, los consejeros consultaron los siguientes aspectos (i) ¿qué hace que una 
variable tenga un determinado peso después del análisis factorial?; (ii) ¿qué sucede si 
se comprueba un comportamiento distinto en uno de los indicadores, por ejemplo, 
según nivel socioeconómico? (iii) si la metodología factorial es posible de aplicar y si, 
para efectos de los indicadores que quiere construir el Ministerio de Educación, es 
suficiente la metodología propuesta; (iv) si es posible comparar los métodos; (v) su 
opinión acerca de la exigencia de un mínimo de 4 alumnos y 90% de las respuestas en 
la medición de los indicadores, y (vi) la importancia de generar una definición de un 
indicador que sea general para todos los establecimientos. 

El señor San Martín señaló que el análisis factorial busca caracterizar el fenómeno, 
dado que no hay una definición teórica del indicador. Para ello, se buscan preguntas 
que identifiquen factores, se define qué factor pesa más y éste debe ser ponderado en 
consecuencia. La definición empírica y conceptual debe ser la misma en cada grupo 
socioeconómico, sin importar que las conclusiones sean exactamente las mismas. 

En cuanto a la suficiencia de la metodología, señaló que usar el promedio es factible 
cuando hay definición teórica, y que no considera complejo de implementar el análisls 
factorial, ya que lo más engorroso es la construcción de la base de datos. Agregó que 
usar el análisis factorial permite extraer lo que subyace y llegar a una definición 
empírica del indicador. 

Respecto de la pregunta de por qué no se utilizó este método, señaló que el Ministerio 
de Educación realizó análisis factorial, pero al calcular el indicador final lo deja de lado. 
Sostuvo que es posible realizar una comparación de los métodos, pero sugirió el 
análisis factorial debido a que éstos son utilizados a nivel internacional, lo que le daría 
mayor validez a la propuesta. 

Respecto del mínimo de alumnos y respuestas, señala que con un número tan bajo de 
estudiantes, el promedio del indicador presenta demasiada variabilidad. 
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En cuanto a la necesidad de generar una definición general, señaló que podría ocurrir 
que los resultados sean muy dispersos, en cuyo caso debiera efectuarse una 
definición normativa del indicador. 

Una vez respondidas las consultas, el consultor se retiró de la sesión. 

A continuación, hicieron ingreso a la sesión la señora Bárbara Eyzaguirre, 
Coordinadora de Estudios Educativos del Ministerio de Educación, Claudia Matus, 
profesional del área Estudios y Desarrollo SIMCE, de la Agencia de la Calidad de la 
Educación, junto con tres profesionales que han participado en la elaboración de 
cuestionarios y construcción de base de datos. 

Junto con valorar el trabajo realizado, los consejeros manifestaron que resulta 
necesario aclarar algunos aspectos de la propuesta, en el entendido de que se trata 
de un instrumento novedoso para el sistema escolar. 

Se expresó la preocupación del Consejo en el sentido de que la propuesta presentada 
no consideró las observaciones efectuadas, las que fueron formuladas a partir de 
evaluaciones de expertos. En particular, se plantearon los siguientes aspectos: el 
criterio adoptado respecto de la asistencia, conforme al cual, más del 10% de 
inasistencia se considera en riesgo, lo que no se alinea con las exigencias del sistema 
escolar; las dudas generadas con el indicador de satisfacción de padres y la 
consistencia de los análisis que se realizan. 

La señora Eyzaguirre manifestó su disposición para modificar el indicador de 
asistencia, para lo cual se bajaría el mínimo de 90% a 85% y crearían cuatro 
categorías. Aclaró que no se utilizó el 85%, por cuanto se consideró que dicho 
porcentaje ya constituía un incentivo suficiente en el sistema escolar. Propuso las 
siguientes categorías: entre un 97% y 100%, asistencia destacada; entre 90% y 96%, 
asistencia normal; menos de un 90%, inasistencia grave y menos de 85%, inasistencia 
crónica. 

Posteriormente, la señora Eyzaguirre se refirió al indicador satisfacción de padres, 
señalando que éste surge a partir de la experiencia en Inglaterra, a través de la 
encuesta a los padres, que actualmente se utiliza para evaluar el riesgo del 
establecimiento. Posteriormente, Fundación Chile utilizó la encuesta de padres en los 
procesos de certificación. Informó que, en una primera aproximación, se pensó que 
este indicador podría perjudicar a los colegios de niveles socioeconómicos más altos, 
por cuanto las exigencias de los padres son mayores; sin embargo, la experiencia en 
Chile no ha sido así y se considera que aportan información sobre la calidad, estando 
alineados con indicadores de convivencia. Agregó que es posible sacar este indicador, 
aunque sostuvo que es de utilidad. 


MARCHANT PEREIRA 844 TELEFONOS: 3413412 - 3413413 FAX: 2254616 CASILLA 69-D COD. POSTAL 6640627 SANTIAGO 

http://www.cned.cl E-ma¡l: consulta@cned.cl 3 



CONSEJO NACIONAL DE EDUCACIÓN 
CHILE 

Atendido que existen dudas respecto de la construcción de este indicador y su 
medición, los consejeros propusieron que se incluya por unos años, pero sin ser 
medido, es decir que no forme parte del 33% de los otros indicadores de calidad 
educativa, acordándose aplicar este indicador en una primera etapa a modo de 
prueba, reportando sus resultados, pero sin que influya en la ordenación. 

A continuación, la señora Matus se refirió a la observación del Acuerdo N°22/2013, 
que referida a la necesidad de revisar la decisiones de utilizar un mínimo de 4 
cuestionarios respondidos para estimar resultados para un grado en una escuela y de 
utilizar sólo las preguntas que tengan una tasa de respuesta superior a 90%, 
considerando el impacto que podría tener en la validez de los indicadores y su 
comparabilidad en el tiempo. 

Al respecto, señaló que para que un ítem sea parte de un indicador debe tener, al 
menos un 90% de respuesta a nivel nacional y que, en todo caso, los promedios de 
respuesta en los establecimientos son muy altos. En cuanto a al mínimo de cuatro 
cuestionarios respondidos, se debe a que corresponde al 40% a nivel del 
establecimiento educacional, porque con ello se logra representatividad en el mismo. 
Aclaró que los establecimientos pequeños no entran en la misma medición, según se 
establece en la propia ley (20.529). 

A continuación, se consultó respecto de la observación del Acuerdo 22/2013, que 
plantea que se deben presentar los análisis que demuestren que la medición de los 
indicadores de autoestima académica y motivación escolar; clima de convivencia 
escolar; participación y formación ciudadana y hábitos de vida saludable, es válida y 
confiable en distintos contextos (rural/urbano, grupos socioeconómicos, regiones, por 
ejemplo). 

Al respecto, la señora Matus indicó que sólo en el grupo E (menos vulnerable), el 
análisis factorial no funciona, pero en el resto de los grupos el análisis es bastante 
consistente, indicando que se hacen análisis diferenciados para distintas poblaciones. 
Agregó que, en la práctica los componentes factoriales variarán porque habrá 
consecuencias para las escuelas, por lo que debe haber flexibilidad. Al respecto la 
señora Eyzaguirre acotó que los cuestionarios no están fijos y, en tanto se resguarde 
la comparabilidad, pueden ser modificados debido a mejoras que se quieran 
incorporar. 

El Presidente del Consejo, concluyendo la sesión, solicitó el envío de una indicación 
sustitutiva conforme con a los acuerdos adoptados en la sesión, junto con una minuta 
explicativa, a lo que accedió la representante del Ministerio. 
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Siendo las 11:00 horas, se dio por concluida la cuadragésimo segunda sesión 
extraordinaria del Consejo Nacional de Educación y se fijó una próxima sesión 
ordinaria para el miércoles 5 de junio de 2013, a las 12:30 horas. 
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• Propuesta Actual vs. Estándares Internacionales (OFSTED, OECD, 
Royal Society): en una escala de 1 a 7 no superaríamos el 3 pues hay 
información omitida que debe recolectarse dada las altas 
consecuencias de la ordenación. Dicha información se refiere 
principalmente a los rendimientos prevíos de cada estudiante (en 
relación a los rendimientos contemporáneos a la ordenación de las 
escuelas). 

• Cualquier control socioeconómico no logra capturar lo que a su vez 
captura el rendimiento previo de los estudiantes. 
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• Los siguientes indicadores tienen por objetivo caracterizar aspectos 
observables de los establecimientos educacionales: 

• Autoestima académica y motivación escolar. 

• Clima de convivencia escolar. 

• Participación y formación ciudadana. 

• Hábitos de vida saludable. 

• Satisfacción de padres y apoderados. 

• Asistencia escolar. 

• Retención escolar. 

• Equidad de género. 

• Tasa de titulación técnico profesional. 



• Los 5 primeros indicadores se construyen utilizando información 
recolectada a nivel individual por medio de cuestionarios 
auto-aplicados. 

• Los indicadores no han sido construldos teóricamente, sino 
empíricamente. 




® Construcción empírica de los indicadores conlleva realizar anállsls 
factoríales exploratoríos de los cuestíonaríos. 

• Construcción teórica de los indicadores conlleva realizar análisis 
factoriales confirmatorio de los cuestionarios. 

• La revisión de la literatura pertinente no coherente con respecto a la 
forma de construir los indlcadores, sino solo con la posibilidad de 
medir dichos indicadores. 







9 Supongamos que elaboramos una prueba de Aritmética compuesta de 

dos partes: 


• Parte 1: 

• Pregunlal: \ + 2|. 

e Pregunta2: -(-(3 + 6) + 7). 

® Pregunta3:- U —. 

1+ r“h- 

1+ ttt 

• Parte2: 

e Pregunta 1: Verifica que un número cuadrado es Igual a la suma de números Impares 
consecutlvos. Preclsa la cantldad de núemros impares en tórmlnos del número cuadrado 
que estás descomponíendo. 

e Pregunta 2: Encuentra un procedlmlento eflclente de sumar desde 1 a 100 usando un 
cuadrado de 10 puntos por 10 puntos. 




• Cada parte de la prueba la ponderas, al igual que las preguntas de 
cada parte: 

• Parte 1 (30%): 

• Preguntal (30%): \ + 2|. 


• Pregunla 2 (20%): -(-(3 + 6) + 7), 

• Pregunta 3 (50 %):-^—. 


* Parte 2 (70%): 

0 Pregunta 1 (60 %): Verlflca que un número cuadrado es Igual a la suma de números 
Impares consecutivos. Precisa la canlldad de núemros Impares en térmínos del número 
cuadrado que estás descomponlendo. 

• Pregunta 2 (40 %): Encuentra un procedimiento eficiente de sumar desde 1 a 100 usando 
un cuadrado de 10 puntos por 10 puntos. 



• Para cad alumno, se calcula la nota flnal haciendo un promedio que 
tiene en cuenta los ponderadores. 

• Pero el profesor decidió calcular la nota final promediando las tres 
preguntas de la Parte 1, las dos preguntas de la parte 2, y luego 
promediando ambos resultados. 




« La propuesta actual en el documento OICE usa un procedimiento para 
obtener empíricamente los ponderadores de cada parte de la prueba, 
así como de cada pregunta de cada parte: esto se hace por medio de 
un Análisis Factorial. 

• Pero luego, cuando calcula un puntaje por estudiante en cada 
indicador, olvida esta información y termina promediando las 
respuestas de cada individuo a cada item del cuestionario. 




• La propuesta actual en el documento OICE usa un procedlmiento para 
obtener empíricamente los ponderadores de cada parte de la prueba, 
así como de cada pregunta de cada parte: esto se hace por medio de 
un Análisls Factorial. 

• Pero luego, cuando calcula un puntaje por estudiante en cada 
indicador, olvida esta información y termina promediando las 
respuestas de cada individuo a cada item del cuestionario. 

• ¿Cuánto pueden cambiar los índices a nivel individual y de 
establecimiento educacional, al calcular los puntajes usando los pesos 
factorlales, o solo promediando? 

• llustración: análisis factorial cuestionario SIMCE 2006, "razones para 
escoger escuelas". Se encontraron dos factores: calidad multiforme y 
acceso.; para detalles ver Carrasco & San Martín (2012, Estudios de 
Economíá). 
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® Sin embargo, las correlaciones entre los indicadores calculados usando 
pesos factoriales y usando datos oiginales, tanto a nivel individual 
como de escuela es 0.89. 

® ¿Por qué esto no es una sorpresa? 



• Sin embargo, las correlaciones entre los indicadores calculados usando 
pesos factoriales y usando datos oiginales, tanto a nivel individual 
como de escuela es CL89. 

• ¿Por qué esto no es una sorpresa? 

• Porque los factores son funciones de los itemes y aquéllos se 
construyen teniendo en cuenta el mayor grado de correlación. 




• Los puntajes a nivel de estudiante por cada indicador deben calcularse 
respetando los pesos factoriales, y combinando los diferentes factores 
respecatndo las varianzas explicadas por cada uno de ellos. Un 
procedimiento similar puede encontrarse en PISA 2009 Technical 
Report , especialmente página 313. 

• Es necesario estudiar la invariaza factorial para distintas 
subpoblaciones, Esto significa hacer los análisis factoriales para 
distintas subpobalciones por separado, y encontrar los mismos factores 
para cada indicador, así como los mismos ítemes asociados a cada 
factor. En caso de haber diferencias, hay que decidir qué itemes 
eliminar para asegurar la invarainza factorial. 




